적은 정보로도 ‘프라이버시 침해’ 밝히는 신기술 등장
 |
| 인공지능 학습 데이터의 ‘프라이버시 침해 여부’를 알아내는 새로운 방법 |
AI가 당신을 기억하고 있다?
AI는 똑똑하다. 그런데 너무 똑똑해서 문제다.
딥러닝 모델이 훈련에 사용된 정보를 ‘기억’한다면 어떻게 될까? 예를 들어, 어떤 AI가 암 진단용 이미지로 학습을 했다면, 그 모델을 통해 “이 사람, 훈련에 쓰였어!”라는 정보까지 유추할 수 있는 것이다.
이걸 가능하게 만드는 것이 바로 Membership Inference Attack(회원 추론 공격, MIA)이다. 그리고 최근 연구진이 이 공격 방식을 한 단계 업그레이드해냈다. 적은 데이터로도 강력한 공격이 가능한 새로운 모델을 선보인 것이다. 이름하여 FeS-MIA, 여기에 Log-MIA라는 새로운 평가 방법까지 추가해 AI 프라이버시 문제를 보다 쉽게 측정할 수 있게 됐다.
---
회원 추론 공격(MIA)이란?
간단히 말해, AI가 어떤 데이터를 학습했는지 알아내는 공격이다. 예를 들어, 어떤 사람이 민감한 의료 데이터를 제공해 AI 훈련에 참여했다면, MIA는 그 사람이 데이터셋에 포함되었는지를 추정할 수 있다. 이건 매우 큰 개인정보 침해다.
문제는 기존 MIA 방식은 너무 비효율적이었다:
* 데이터도 많이 필요하고,
* 연산량도 크고,
* 평가 기준도 애매했다.
이걸 해결하려고 연구진은 두 가지를 제안했다:
1. 적은 샘플만으로도 가능한 MIA 모델 (FeS-MIA)
2. 새롭고 직관적인 평가 방법 (Log-MIA)
---
적은 데이터로도 공격이 가능하다고?
기존 MIA는 대규모 ‘섀도우 모델’(AI를 흉내 낸 모델)을 여러 개 만들어야 해서 자원 소모가 심했다. 반면, FeS-MIA(Few-Shot Membership Inference Attack)는 이름 그대로 ‘몇 개의 샘플’만 가지고도 MIA를 수행할 수 있다. 즉, 현실적인 상황에서도 실행이 가능한 모델이라는 뜻이다.
예를 들어, 딥러닝 모델의 훈련 데이터셋을 전혀 몰라도, 몇 개의 ‘의심 샘플’과 모델 응답만 있으면 공격이 가능하다. 특히 지원 집합(소수의 라벨된 샘플)과 쿼리 집합(검증 대상)만으로 빠르게 판단할 수 있다.
세 가지 FeS-MIA 구현 방식이 제시됐다:
FeS-MIA TT: 모델을 직접 튜닝함. (화이트박스)
FeS-MIA SS: 단순한 거리 기반 분류기. (블랙박스)
FeS-MIA LS: 라플라시안 기반의 강화된 분류기. (블랙박스)
---
새로운 평가 방식: Log-MIA
기존에는 MIA 성능을 정확도나 정밀도로 평가했지만, 이런 지표들은 실질적인 ‘개인정보 유출’을 제대로 반영하지 못한다. 그래서 제안된 것이 Log-MIA다.
Log-MIA는 다음을 기준으로 삼는다:
* 얼마나 많은 훈련 샘플이 정확히 맞춰졌는가?
* 그 과정에서 잘못 맞춘 (비훈련) 샘플은 얼마나 되는가?
* 그 결과가 통계적으로 의미 있는 수준인가?
이 방식은 두 가지 평가 체계를 갖는다:
1. Regime A: 실수(FP) 없이 진짜 훈련 데이터를 몇 개나 맞췄는가?
2. Regime B: 소수의 실수를 허용했을 때, 얼마나 많이 맞췄는가?
이 두 체계를 통해 '심각한 유출', '중간 수준 유출', '무시할 수 있는 유출'을 구분할 수 있게 됐다.
실험 결과: 놀라운 효율
FeS-MIA는 세 가지 대표적인 데이터셋에서 실험됐다:
CIFAR-10, CIFAR-100: 이미지 분류용 소형 데이터셋
WikiText-103: 언어모델 훈련용 대형 텍스트 데이터
결과 요약:
* Regime A에서는 극단적으로 적은 데이터로는 심각한 유출을 잡기 어려웠다.
* 하지만 Regime B에서는 FeS-MIA TT와 SS 모델이 기존 대형 MIA 모델과 유사한 유출 수준을 달성했다.
* 특히, FeS-MIA TT는 1개의 샘플만으로도 의미 있는 유출을 탐지할 수 있었다.
즉, 적은 자원으로도 프라이버시 리스크를 빠르게 점검할 수 있는 현실적인 도구가 된 셈이다.
---
왜 이 연구가 중요한가?
1. 개인정보 유출 위험 진단이 쉬워졌다
이제 대형 AI 모델의 학습 데이터가 잘 보호되고 있는지를 확인하는 데 많은 시간과 데이터가 필요하지 않다.
2. 경량 환경에서도 사용 가능하다
에지 컴퓨팅이나 규제 환경처럼 자원이 제한된 상황에서도 충분히 사용 가능하다.
3. 보안 정책 수립에 기여
AI 서비스 도입 전에 FeS-MIA로 사전 점검을 하면, 민감 정보의 유출 가능성을 줄일 수 있다.
---
마지막 한 마디
AI의 위력은 단지 ‘정확함’에 있지 않다. AI가 무엇을, 얼마나 기억하는지도 중요하다. 특히 그 기억이 ‘누가 훈련에 참여했는가’를 드러낼 수 있다면, 그것은 큰 위험이다.
이번 연구는 적은 자원으로도 그 위험을 탐지할 수 있는 ‘실용적 무기’를 만들어냈다. 앞으로 AI 개발자들이 모델을 만들 때, 성능 못지않게 ‘기억의 흔적’을 지우는 기술에도 주목해야 할 이유가 생겼다.
---
출처 논문
Jiménez-López, D.; Rodríguez-Barroso, N.; Luzón, M.V.; Del Ser, J.; Herrera, F. Membership Inference Attacks Fueled by Few-Shot Learning to Detect Privacy Leakage and Address Data Integrity. Mach. Learn. Knowl. Extr. 2025, 7, 43.